線形回帰のパラメータの推定
まずは，線形回帰のおさらいから．
\(\Large \displaystyle y_i = a_0 + a_1 x_i \)
となります．ここで，a0が切片，a1が傾きとなります．
それぞれの推定値は，
\(\Large \displaystyle \hat{a_0} = \bar{y} - \hat{a_1} \bar{x} \)
\(\Large\displaystyle \hat{a_1} = \frac{ \displaystyle \sum_{i=1}^{n} \left(x_i - \bar{x} \right) \left(y_i - \bar{y} \right)}{ \displaystyle \sum_{i=1}^{n} \left( x_i - \bar{x} \right)^2} \)
ここで，少し変形すると，
\(\Large\displaystyle \hat{a_1} = \frac{ \displaystyle
\sum_{i=1}^{n} \left(x_i y_i - \bar{y} x_i - \bar{x} y_i + \bar{x} \bar{y} \right) }
{ \displaystyle
\sum_{i=1}^{n} \left( x_i ^2-2 \bar{x} x_i + \bar{x}^2\right)}
\)
\(\Large\displaystyle = \frac{ n \left( \overline{x y} - \bar{x} \bar{y} - \bar{x} \bar{y} + \bar{x} \bar{y} \right) }
{ \displaystyle
n \left( \overline{x^2}-2 \bar{x}^2 + \bar{x}^2\right)}
\)
\(\Large\displaystyle = \frac{ \overline{x y} - \bar{x} \bar{y} }
{ \displaystyle
\overline{x^2}- \bar{x}^2}
\)
\(\Large\displaystyle \hat{a_0} = \bar{y} - \frac{ \overline{x y} - \bar{x} \bar{y} }
{ \displaystyle
\overline{x^2}- \bar{x}^2}
\bar{x}\)
分散値は，
\(\Large \displaystyle V \left[\hat{a_1} \right] = \frac{\sigma^2 }{ \displaystyle \sum_{i=1}^{n} \left( x_i - \bar{x} \right)^2}\)
\(\Large \displaystyle V \left[ \hat{a_0} \right] = \sigma^2 \frac{ \displaystyle \sum_{i=1}^{n} x_i^2 }{n \displaystyle \sum_{i=1}^{n} \left( x_i - \bar{x} \right)^2} \)
となります．
では，まず平均値の場合と同様に具体的な数字から考えていきましょう．